Ông sinh vào ngày 20 tháng 11 năm 1920 trong một gia đình điền chủ khá giả tại làng Nộn Khê, huyện Yên Mô, tỉnh Ninh Bình. Cụ thân sinh làm chức thông phán (người làng gọi là ông Phán Đăng). Ông học Tiểu học tại Ninh Bình, Trung học Đệ nhất cấp[2] ở Nam Định thi đậu bằng Thành chung. Năm 1938, khi học lên Trung học Đệ nhị cấp[3] ông được gia đình cho ra Hà Nội học ở Trường Lycée du Protectorat (Sau năm 1945 đổi tên thành Trường Trung học Quốc lập Chu Văn An, tên dân gian gọi là "Trường Bưởi"). Năm 1941 ông thi đậu Tú tài toàn phần (Part II). Sau đó ông thi vào Đại học và đã học đến năm thứ 2 ở Trường Đại học Y khoa Hà Nội.

Quân đội Liên hiệp Pháp

Cuối năm 1945, ông nhập ngũ mang số quân 40/301.796. Theo học khóa 4 Trường Võ bị Lục quân Trần quốc Tuấn tại Chapa, Lào Kay,[4] khai giảng ngày 1 tháng 1 năm 1946. Tháng 12 cùng năm mãn khóa tốt nghiệp với cấp bậc Chuẩn úy. Ra trường ông được đi tu nghiệp tại trường Võ bị Hoàng Phố, Trung Hoa.[5] Tháng 4 năm 1947 mãn khóa về nước, ông được thăng cấp Thiếu úy phục vụ trong Tiểu đoàn Bộ binh thuộc Quân đội Liên hiệp Pháp. Tháng 6 năm 1948, ông được thăng cấp Trung úy, biệt phái làm Tham mưu trưởng đơn vị Phụ lực quân của Lực lượng Giáo phái Phát Diệm.[6]

Quân đội Quốc gia Việt Nam

Năm 1950, sau khi Quốc gia Việt Nam thành lập Quân đội, ông được trưng dụng phục vụ Quân đội Quốc gia và được thăng cấp Đại úy. Tháng 7 năm 1952, ông được cử đi du học lớp Tham mưu tại Trường Tham mưu Ba Lê (École d'État Major de Paris, France) đến đầu năm 1953 mãn khóa về nước. Tháng 8 năm 1954, sau Hiệp định Genève (20 tháng 7), di chuyển vào Nam ông được thăng cấp Thiếu tá và được cử làm Tiểu đoàn trưởng Tiểu đoàn 18 Việt Nam đóng tại Cao nguyên Trung phần.[7]

Quân đội Việt Nam Cộng hòa

Tháng 11 năm 1955, sau khi Quân đội Quốc gia được cải danh thành Quân đội Việt Nam Cộng hòa, chuyển sang cơ cấu quân đội mới ông được thăng cấp Trung tá giữ chức vụ Tham mưu trưởng Đệ nhất Quân khu Nam Việt do Đại tá Trần Văn Minh làm Tư lệnh. Ngày 8 tháng 12 năm 1956, ông được thăng cấp Đại tá được bổ nhiệm giữ chức vụ Tổng Giám đốc Tổng nha Cảnh sát-Công an thay thế Thiếu tướng Nguyễn Ngọc Lễ được cử đi giữ chức vụ Chỉ huy trưởng Trung tâm Huấn luyện số 1.[8] Ngày 27 tháng 2 năm 1957, ông được thăng cấp Thiếu tướng tại nhiệm.

Ngày 7 tháng 3 năm 1958, nhận lệnh bàn giao chức vụ Tổng giám đốc Cảnh sát-Công an lại cho Thiếu tướng Nguyễn Văn Là. Ngày 15 tháng 8 cùng năm, ông được cử giữ chức vụ Tham mưu trưởng Liên quân tại Bộ Tổng tham mưu. Đến giữa tháng 9 năm 1960, bàn giao chức vụ Tham mưu trưởng Liên quân lại cho Thiếu tướng Nguyễn Khánh. Ngay sau đó, ông được chỉ định giữ chức vụ Chỉ huy trưởng Trường Chỉ huy tham mưu[9] thay thế Trung tướng Trần Văn Minh. Tháng 8 năm 1961, bàn giao Trường Chỉ huy Tham mưu lại cho Trung tướng Thái Quang Hoàng, ông được cử đi du học lớp Tham mưu cao cấp (khóa 1961 - 1962) thụ huấn 42 tuần tại Học viện Fort Leavenworth, Kansas, Hoa Kỳ[10]. Giữa năm 1962, mãn khóa về nước tùng sự ở Bộ Tổng Tham mưu.

Ngày 1 tháng 11 năm 1963, ông tham gia cuộc đảo chính chế độ Tổng thống Ngô Đình Diệm. Ngày 2 tháng 11, ông được thăng cấp Trung tướng giữ chức Uỷ viên An ninh của Hội đồng Quân nhân Cách mạng do Trung tướng Dương Văn Minh làm Chủ tịch.

Đầu tháng 2 năm 1964, sau cuộc Chỉnh lý ngày 30 tháng 1 để giành quyền lãnh đạo của tướng Nguyễn Khánh, ông được cử giữ chức Đệ Tam phó Chủ tịch Hội đồng Quân nhân Cách mạng do Trung tướng Nguyễn Khánh làm Chủ tịch. Ngày 17 tháng 2 năm 1965, ông được Hội đồng tướng lãnh bầu làm Chủ tịch Hội đồng Quốc gia Lập pháp. Hội đồng này gồm có 20 thành viên. Tháng 10 cùng năm ông được cho giải ngũ vì đã phục vụ quân đội trên 20 năm, đồng thời ông được bổ nhiệm làm Đại sứ Việt Nam Cộng hòa tại Nam Hàn cho đến tháng 10 năm 1969 mãn nhiệm kỳ về nước.